ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender
ShallowDefend：利用浅层安全对齐实现多轮防御
🧭 LLM 安全对齐 · 多轮防御
University of California, Davis · Microsoft Research
提出 Assess→Decide→Respond 框架，用显式安全决策 token 和自验证奖励训练多轮防御模型，在 14 个基准上取得最强多轮安全性
📌 工作参考价值（4 点）
- 在对话式购物助手/客服 Agent 中，对安全敏感请求可引入“评估→决策→回复”阶段，强制模型先输出可解析的安全标签（如 SAFE/UNSAFE 或分级），再基于该决策生成回复，使安全行为集中在可控 token span，便于审计与干预。
- 采用自验证奖励：无需人工标注或 judge，只需比对决策标签与对话已知性质（如对抗轨迹或历史违规日志）作为规则奖励，可大幅降低安全 RL 训练成本；电商场景可用用户举报/售后投诉日志构造弱标签。
- 利用浅层对齐机理做高效微调：安全/合规行为主要集中在前几个 token，训练时可以仅对决策 span 施加更强 KL 约束或集中梯度更新，避免主模型整体能力退化；对需要保持推荐/销售效用的系统，可通过只优化决策段减少 helpfulness 损失。
- 多轮攻击在电商场景同样存在（用户分多轮绕过商品推荐限制或诱导客服），该思路可作为多轮对话安全中间件，前置轻量决策模块或决策 token，无需大改主模型。